自动标记实践问题的知识点是管理问题基础并改善教育的自动化和智能的基础。因此,研究实践问题的自动标记技术具有很大的实际意义。但是,关于数学问题的知识点自动标记的研究很少。与一般文本相比,数学文本具有更复杂的结构和语义,因为它们包含符号和公式之类的独特元素。因此,很难通过直接应用一般域中的文本分类技术来满足知识点预测的准确性要求。在本文中,K12数学问题是研究对象,提出了基于标签语义的关注和组合文本特征的多标签平滑的实验室模型,以改善数学问题知识点的自动标记。该模型将文本分类技术结合在通用域和数学文本的独特功能中。结果表明,使用标签语义注意力或多标签平滑度的模型在精度,召回和F1得分指标上的性能要比传统的BilstM模型更好,而实验室模型使用两者都表现最好。可以看出,标签信息可以指导神经网络从问题文本中提取有意义的信息,从而改善模型的文本分类性能。此外,结合文本功能的多标签平滑性可以充分探索文本和标签之间的关系,提高模型的新数据预测能力,并提高模型的分类精度。
translated by 谷歌翻译
PCL检测任务旨在识别和分类语言,这些语言是光顾或屈服于一般媒体中的脆弱社区。 ,使通用文本分类方法的表现令人失望。针对Semeval-2022任务4中的PCL检测问题,在本文中,我们对团队的解决方案进行了介绍,该解决方案利用了基于段落分类的及时学习的力量。我们将任务重新制定为适当的披肩提示,并使用预先训练的蒙版语言模型来填补披肩插槽。对于这两个子任务,即二进制分类和多标签分类,采用并微调Deberta模型来预测特定于任务的提示的标签单词。在评估数据集中,对于二进制分类,我们的方法达到了0.6406的F1分数;对于多标签分类,我们的方法达到了0.4689的宏F1得分,在排行榜中排名第一。
translated by 谷歌翻译
使用无法回答的问题的机器阅读理解是一项艰巨的NLP任务,受到无法从段落回答的问题的挑战。据观察,微妙的文字变化通常使一个可回答的问题无法回答,但是,大多数MRC模型无法识别此类变化。为了解决这个问题,在本文中,我们提出了一种基于跨度的对比度学习方法(SPANCL),该方法在答案跨度上明确将可回答的问题与他们的回答和无法回答的对应物进行了明确的对比。使用SPANCL,MRC模型被迫从微小的字面差异中感知至关重要的语义变化。小队2.0数据集的实验表明,SPANCL可以显着改善基准,从而产生0.86-2.14绝对EM的改进。其他实验还表明,Spancl是利用生成问题的有效方法。
translated by 谷歌翻译
尽管最近在图像恢复领域取得了重大进展,但最新方法(SOTA)方法的系统复杂性也在增加,这可能会阻碍方法的方便分析和比较。在本文中,我们提出了一个超过SOTA方法并且在计算上有效的简单基线。为了进一步简化基线,我们揭示了非线性激活功能,例如不需要Sigmoid,Relu,Gelu,SoftMax等:可以用乘法代替或去除它们。因此,我们从基线得出一个非线性无线激活网络,即nafnet。在各种具有挑战性的基准上取得了SOTA结果,例如33.69 db psnr在GoPro上(对于图像脱张),超过了先前的SOTA 0.38 dB,其计算成本仅为8.4%; SIDD上的40.30 dB PSNR(用于图像denoising),超过了先前的SOTA 0.28 dB,其计算成本不到一半。代码和预培训模型将在https://github.com/megvii-research/nafnet上发布。
translated by 谷歌翻译
沿着整个空间尺寸聚集的全局空间统计数据广泛用于顶级性能图像恢复器。例如,在挤压和激发(SE)中采用的实例归一化(IN)中采用的实例归一化(IN)的平均值,方差,其被应用于MPRNet。本文首先显示在训练/测试阶段的基于补丁/全部图像的特征上聚合的统计分别可以分发非常不同,并导致图像恢复器中的性能下降。它已被以前的作品被广泛忽视。要解决此问题,我们提出了一种简单的方法,测试时将局部统计转换器(TLSC)替换为仅在测试时间中从全局到本地的统计聚合操作区域。如果没有再培训或芬降,我们的方法显着提高了图像恢复器的性能。特别是,通过将TLSC扩展到最先进的模型,MPRNET升压在GoPro数据集上的PSNR中的0.65 dB,实现了33.31dB,超过了先前的最佳结果0.6 dB。此外,我们只需将TLSC应用于高级视觉任务,即语义细分,并实现竞争结果。进行了广泛的数量和质量实验,以证明TLSC解决了边际成本的问题,同时显着获得。该代码可在https://github.com/megvii-research/tlsc中获得。
translated by 谷歌翻译
Traditional supervised learning mostly works on individual tasks and requires training on a large set of task-specific examples. This paradigm seriously hinders the development of task generalization since preparing a task-specific example set is costly. To build a system that can quickly and easily generalize to new tasks, task instructions have been adopted as an emerging trend of supervision recently. These instructions give the model the definition of the task and allow the model to output the appropriate answer based on the instructions and inputs. However, task instructions are often expressed in different forms, which can be interpreted from two threads: first, some instructions are short sentences and are pretrained language model (PLM) oriented, such as prompts, while other instructions are paragraphs and are human-oriented, such as those in Amazon MTurk; second, different end-users very likely explain the same task with instructions of different textual expressions. A robust system for task generalization should be able to handle any new tasks regardless of the variability of instructions. However, the system robustness in dealing with instruction-driven task generalization is still unexplored. This work investigates the system robustness when the instructions of new tasks are (i) maliciously manipulated, (ii) paraphrased, or (iii) from different levels of conciseness. To our knowledge, this is the first work that systematically studies how robust a PLM is when it is supervised by instructions with different factors of variability.
translated by 谷歌翻译
在马尔可夫决策过程(MDP)中,可能存在不可观察的混杂因素并对数据生成过程产生影响,因此经典的非政策评估(OPE)估计器可能无法识别目标策略的真实价值函数。在本文中,我们研究了与可观察的仪器变量混杂的MDP中OPE的统计特性。具体而言,我们根据仪器变量提出了一个两阶段估计器,并在具有线性结构的混杂MDP中建立了其统计属性。对于非反应分析,我们证明了一个$ \ Mathcal {o}(n^{ - 1/2})$ - 错误绑定了$ n $是样本的数量。对于渐近分析,我们证明了两阶段估计量在渐近正常上,典型速率为$ n^{1/2} $。据我们所知,我们是第一个通过仪器变量显示混合线性MDP的两阶段估计量的统计结果。
translated by 谷歌翻译
随着信息技术的快速发展,在线平台(例如,新闻门户网站和社交媒体)每时每刻都会产生巨大的网络信息。因此,从社会流中提取结构化的事件表现至关重要。通常,现有事件提取研究利用模式匹配,机器学习或深度学习方法来执行事件提取任务。然而,由于汉语的独特特征,中国事件提取的表现并不像英语一样好。在本文中,我们提出了一个综合框架来执行中文事件提取。所提出的方法是一个多通道输入神经框架,它集成了语义特征和语法特征。 BERT架构捕获语义特征。通过分析嵌入嵌入和图形卷积网络(GCN)分别捕获语音(POS)特征和依赖解析(DP)特征的部分。我们还在真实世界数据集中评估我们的模型。实验结果表明,该方法显着优于基准方法。
translated by 谷歌翻译
随着信息技术的快速发展,在线平台已经产生了巨大的文本资源。作为一种特定形式的信息提取(即),事件提取(EE)由于其自动从人类语言提取事件的能力而增加了普及。但是,事件提取有限的文献调查。现有审查工作要么花费很多努力,用于描述各种方法的细节或专注于特定领域。本研究提供了全面概述了最先进的事件提取方法及其从文本的应用程序,包括闭域和开放式事件提取。这项调查的特点是它提供了适度复杂性的概要,避免涉及特定方法的太多细节。本研究侧重于讨论代表作品的常见角色,应用领域,优势和缺点,忽略各个方法的特殊性。最后,我们总结了常见问题,当前解决方案和未来的研究方向。我们希望这项工作能够帮助研究人员和从业者获得最近的事件提取的快速概述。
translated by 谷歌翻译
在本文中,我们研究了强大的马尔可夫决策过程(MDPS)的最佳稳健策略和价值功能的非反应性和渐近性能,其中仅从生成模型中求解了最佳的稳健策略和价值功能。尽管在KL不确定性集和$(s,a)$ - 矩形假设的设置中限制了以前专注于可靠MDP的非反应性能的工作,但我们改善了它们的结果,还考虑了其​​他不确定性集,包括$ L_1 $和$ L_1 $和$ \ chi^2 $球。我们的结果表明,当我们假设$(s,a)$ - 矩形在不确定性集上时,示例复杂度大约为$ \ widetilde {o} \ left(\ frac {| \ mathcal {| \ mathcal {s} |^2 | \ mathcal { a} |} {\ varepsilon^2 \ rho^2(1- \ gamma)^4} \ right)$。此外,我们将结果从$(s,a)$ - 矩形假设扩展到$ s $矩形假设。在这种情况下,样本复杂性随选择不确定性集而变化,通常比$(s,a)$矩形假设下的情况大。此外,我们还表明,在$(s,a)$和$ s $ retectangular的假设下,从理论和经验的角度来看,最佳的鲁棒值函数是渐近的正常,典型的速率$ \ sqrt {n} $。
translated by 谷歌翻译